#model evaluation

4 篇

A Ranking Approach for Measuring Calibration

一种用于度量校准度的排序方法

🧭 模型校准度量 · rankECE

Boston University · University of Chicago

提出 rankECE，基于相邻预测概率比较的校准误差度量，比常用分箱 ECE 近似更准确

📌 工作参考价值（4 点）

在广告/推荐系统的 CTR、CVR 预估中，模型概率校准直接影响竞价与排序；现有校准评估常用分箱 ECE，但分箱宽度和边界选择会影响结论。rankECE 基于相邻点比较，无需设置分箱，更适合在线模型监控和 A/B 测试中的校准对比，尤其当正样本稀疏时。
可以将其作为离线评估流程的补充指标，与 AUC、LogLoss 一同监控校准质量；实现时可将预测分数排序后计算相邻点差异的加权平均，工程上容易对接现有特征和标签存储。
rankECE 对局部校准偏差更敏感，适合发现模型在特定预测概率区间（如高点击率头部流量）的系统性偏误，便于业务方定位问题。
注意该度量最初针对二分类概率校准，如果推广到多分类或 Learning-to-Rank 场景需要适配，例如对每个类或每个位置计算局部校准。

Eval | 2026-09-11 | cs.LG | score 6/10

Target leakage, not model class, explains reported accuracy in survey-based cardiovascular screening: a leakage-tiered audit of glass-box and tabular foundation models

目标泄漏而非模型类别解释心血管筛查报告准确率：玻璃盒与表格基础模型泄漏分层审计

🧭 表格模型评估与目标泄漏审计

Data Science and AI Cluster, XU Exponential University of Applied Sciences, Potsdam, Germany · German University of Digital Science, Potsdam, Germany · College of Engineering, Abu Dhabi University, Abu Dhabi, United Arab Emirates · College of Technological Innovation, Zayed University, Abu Dhabi, United Arab Emirates · Cleveland Clinic Hospital, Abu Dhabi, United Arab Emirates

十个分类器在44万样本审计显示，移除两个诊断后特征使所有模型AUROC下降约0.05并收敛至0.0045带宽，性能差距来自特征泄漏而非模型架构

📌 工作参考价值（4 点）

建立泄漏分层特征审计：把与标签有因果/后诊断关系的特征按泄漏风险分层，观察移除后所有模型 AUC 的同步下降，电商推荐里类似“用户已加购/购买后的行为特征”会带来虚假 recall，需要消融区分特征贡献与模型能力。
玻璃盒模型（EBM）在表格任务上精度可非劣于复杂模型且推理快约两个数量级，适合线上排序/召回候选生成中低延迟且可解释的模块，不必为微小 AUROC 提升引入大模型。
部署前用冻结阈值跨时间/跨人群验证：推荐/广告模型在增量训练前先在下一时段数据上做 transport 检查，避免只看离线 AUC；对性别/年龄等分人群使用 Mondrian conformal 或分组校准修复覆盖率差异。
阈值公平性要在固定业务阈值下审计，而非只看全局 AUC；排序/推荐里对曝光阈值、推送文案的覆盖差异做 subgroup 召回/精确率检查，利用可解释模型的 shape function 编辑实现可审计修复。

Eval | 2026-09-10 | cs.CL | score 6/10

target leakage tabular foundation models glass-box models conformal prediction fairness audit model evaluation

BayesAME: Bayesian Active Model Evaluation

贝叶斯主动模型评估：自动确定核心集大小的序列框架

🧭 主动贝叶斯模型评估 · 核心集选择

Imperial College London · Google DeepMind

通过贝叶斯序列设计自动停止，用信息增益选评估项，以历史模型相似性为先验，实现高效基准评估

📌 工作参考价值（4 点）

在评估大量推荐模型版本或A/B测试时，可直接用此方法动态选择评测子集，计算成本降低且自动决定何时停止
当有历史模型在相同项目上的评分数据（如多个旧模型在商品集上的CTR），可利用潜在能力分组先验加速新模型评估
多目标扩展能捕获模型间的性能相关性，适合同时评估多个候选模型（如对比多个精排模型）；工程实现可采用连续响应对数似然替代硬二元分数，提升估计精度
信息增益驱动的主动选择策略可迁移到查询建议质量评估、生成式推荐结果的在线人工标注等稀疏评估场景

Eval | 2026-07-29 | stat.ML | score 7/10

Bayesian active learning model evaluation coreset selection uncertainty quantification sequential design benchmark estimation

CRAFT: Clustering Rubrics to Diagnose Weak LLM Capabilities and Generate Targeted Fine-Tuning Data

CRAFT: 聚类评分标准诊断LLM弱点并生成定向微调数据

🧭 评估驱动的弱能力诊断与定向数据生成

Scale AI

将评分标准视为能力探针，聚类构建能力树诊断模型薄弱能力，针对性生成微调数据，在专业领域显著提升性能。

📌 工作参考价值（4 点）

用评分标准（rubric）定位能力缺口：在电商搜索/推荐系统的模型评估中，将人工或自动评分规则（如“查询意图识别是否准确”“推荐多样性是否达标”）转化为能力探针，提取能力描述并聚类，自动发现模型在哪一类子能力上薄弱，而不仅是哪个样本出错。
定向生成微调数据：针对诊断出的弱能力节点，利用LLM批量生成针对性训练样本，避免全量数据收集的盲目性，提升数据迭代效率。例如，若诊断出“对长尾查询的语义理解弱”，可定向生成该类查询的标注数据。
层次能力树动态选择粒度：参考CRAFT的层次聚类与动态节点选择策略，在能力诊断时自适应地选择最明显的失败层级，避免过细或过粗导致的噪声，使微调更聚焦关键短板。
可嵌入持续学习流水线：在Agent或推荐系统上线后，周期性对线上badcase进行rubric标注 -> 能力诊断 -> 生成微调数据 -> 模型更新的闭环，实现持续自我改进。

Training | 2026-07-17 | cs.LG | score 6/10

CRAFT capability diagnosis fine-tuning data rubric clustering model evaluation